Levits dilahirkan di Riga, Latvia, semasa pendudukan Soviet dapam keluarga jurutera Yahudi Latvia Jonass Levits dan isterinya, pemuisi Latvia-Baltik Jerman Ingeborga Levita (née Barga, nama pena Aija Zemzare). Pada tahun 1972, keluarganya diusir dari USSR kerana kegiatan menentang Soviet mereka[7] dan menetap di Jerman Barat, tempat saudara Ingeborga tinggal. Mereka tinggal di Jerman Barat sehingga tahun 1990 apabila Latvia mendapat semula kemerdekaannya.

Levits telah menyatakan dalam temu ramah bahawa walaupun beliau keturunan Yahudi, beliau menganggap dirinyan kali pertama sebagai orang Latvia.[8]